Centro Federal de Educação Tecnológica de Minas Gerais

"O modelo presente nesta rede está sofrendo com overfitting, em que a curva de loss do treinamento diminui porém a curva ao aplicada aos dados de validação começam a aumentar a partir de determinada época. Desta forma, o modelo acaba se viciando em determinadas características e diminuindo sua qualidade de métricas."

"As entradas numéricas devem ser normalizadas para que a escala da unidade de medida não afete o resultado. Já as categóricas, podem utilizar técnicas como ordinal encoding e one-hot cooling para representar as categorias em números. O conceito e aplicação do backpropagation auxilia a ajustar os pesos do modelo e acelerar as curvas de loss."

"O modelo não deve ser treinado com dados de testes a fim de evitar o vazamento de dados e deve-se analisar além da acurácia, outras métricas como Recall, precisão e f1-score para avaliar o modelo. Assim, com estas métricas e tratamento de dados, haja uma maior confiança e reprodutibilidade do modelo treinado."

"Uma rotina de monitoramento levando em conta outras variáveis utilizadas para identificar os defeitos poderia ser levado em conta, já que outro dado além do horário do dia está afetando as peças. Para analisar qual hipótese deve ser seguida, deve-se monitorar sua curva de perda relacionada aos dados de validação que possam estar apresentando erros consideráveis por um vício ou não estabilidade do modelo."

"Ao utilizar uma base previamente treinada, a taxa de acerto pode ser evoluída mais rapidamente e seria necessário menos ajustes relacionados aos pesos nas camadas adicionais. Desta forma, utilizar uma base treinada com seus pesos congelados e adicionar duas camadas com ReLU e uma de Sigmoid auxiliaria o modelo atingir uma taxa de acerto melhor mais rápido."

"Para evitar conclusões precipitadas, seria recomendado monitorar as curvas de aprendizado do modelo adotando uma estratégia de Early Stopping ou gerando dados artificiais para o período noturno que façam sentido com os dados recém apresentados."

"A premissa é falha pois o sistema pode oscilar a medida que os dados de testes são aplicados ao modelo pelo limiar ser baixo. Desta forma, a presença de falsos positivos no modelo se torna recorrente e acaba gerando um grande loss na curva de validação."

"Eles devem ser levados em conta para que o modelo não esgote a capacidade médica do hospital. Assim, deve-se tornar evidentes aqueles o modelo não indica piora mas por análise humana estão com o quadro, ajustando o modelo e não sobrecarregando a equipe."

"O monitoramento deve ser aplicado analisando a precisão e o recall dos resultados do modelo, de forma que aplique algum algoritmo para minimizar o aumento da anomalia como o desligamento de parte dos neurônios por época, diminuindo o loss."

"O uso de embeddings estáticos podem tornar as respostas geradas incorretas ou desatualizadas, já que a similaridade de cosseno representa apenas uma pontuação no espaço de distância entre os vetores. Desta forma, os embeddings contextualizados geram respostas mais coerentes e atualizadas por levarem em conta uma maior quantidade de conteúdo atualizado para o modelo."

"A métrica é inadequada devido não levar em conta se a resposta do modelo está correta ou não. Dessa maneira, o conteúdo recuperado não contabilizará métricas para indicar se o conteúdo da resposta está relacionado ao embedding correto."

"A abordagem híbrida incluindo vetores densos e busca lexical tornaria o processo de recuperação de dados mais preciso ao analisar outros fatores além da busca vetorial pura com as pontuações definidas por similaridade de cossenos."

"A proposta do gestor é inadequada para o sistema já que o documento com maior score retornado não significa que seja o apoio certo para a resposta. O sistema descrito conta com documentos conflitantes e com alterações frequentes, tornando necessário aumentar os chunks dos embeddings e levar em conta as datas dos documentos recuperados."

"Para tratar normas conflitantes, é considerado um retreino da base atual, levando em conta a data e maior conteúdo dos embeddings para corrigir o conflito. Assim, testes em ambientes controlados após o retreino da base podem medir a qualidade da recuperação de informação."

"Pode-se monitorar a taxa de abstenção do modelo através da qualidade das respostas apresentadas em produção de modo que o modelo se contradiz frequentemente ao responder perguntas semelhantes, indicando que a recuperação de informação está retornando embeddings que não estão necessariamente corretos."